Anh em vua Thái Đức mâu thuẫn khiến đối thủ lợi dụng ngay lập tức. Ở phía bắc, họ Trịnh ngóc đầu dậy rồi Nguyễn Hữu Chỉnh ra sức hoành hành. Ở phía nam, Nguyễn Phúc Ánh cũng nhân cơ hội lực lượng Tây Sơn bị chia rẽ để quay trở về đánh lại Gia Định (tháng 7 năm 1787).

Người em Đông Định vương chưa đánh nhau với quân chúa Nguyễn đã bỏ chạy về Biên Hoà, bỏ Gia Định cho Phạm Văn Tham giữ[14][15]. Sau lại chạy luôn một mạch về Quy Nhơn rồi ốm và qua đời khiến vua Thái Đức mất một chỗ dựa về tinh thần. Mặc dù tháng 10 năm 1787, ông đã điều Nguyễn Văn Hưng vào tiếp viện cho Phạm Văn Tham, nhưng sau khi hai người vây đánh Nguyễn Ánh ở Mỹ Lung không hạ được, Hưng lại rút quân về Quy Nhơn. Không hẳn việc Hưng rút về Quy Nhơn là theo lệnh của vua Thái Đức. Dù Hưng tự ý rút nhưng ông không trừng phạt tướng này cho thấy ông không còn quyết tâm và đủ nhuệ khí với chiến trường Nam bộ nữa, hoàn toàn phó thác cho Phạm Văn Tham. Những diễn biến sau này từ chiến trường Nam bộ cho thấy đây là sai lầm lớn của ông.

Không có người hợp sức, Phạm Văn Tham bị đơn độc và dần dần trở nên yếu thế trước lực lượng ngày càng lớn mạnh của Nguyễn Ánh. Ánh chuyển từ phòng ngự sang tấn công. Tới tháng 8 năm 1788, thành Gia Định mất, Tham phải chạy ra ngoài tiếp tục chiến đấu. Tướng này chiến đấu bền bỉ đến tận đầu năm 1789 sau khi Nguyễn Huệ đá đánh xong quân Thanh, nhưng vì bị Nguyễn Ánh vây ngặt và chặn đường biển về Quy Nhơn, buộc lòng phải đầu hàng.

Trong khi đó vua em Bắc Bình vương vừa so gươm với ông đang quyết chí theo đuổi ý tưởng chinh phục phía bắc để xây dựng sự nghiệp riêng. Không phải vua em không quan tâm tới chiến trường Nam bộ[16] nhưng nguy cơ ở Bắc hà liên tiếp xảy ra không yên, từ họ Trịnh rồi Nguyễn Hữu Chỉnh và sau đó là Vũ Văn Nhậm và chính Lê Chiêu Thống dẫn quân Thanh về không phải nhỏ. Do đó Nguyễn Huệ không thể dồn hết lực lượng vào chiến trường Nam bộ lúc đó. Lực lượng của vua Thái Đức đã hao mòn, lại mất hết nhuệ khí và ông cũng không có phương pháp nào vực dậy.